AV-AIVAT: 74x Cheaper Agent Evaluation with Certified Anytime-Valid Stopping in Imperfect-Information Games
AV-AIVAT：结合方差缩减与置信序列实现74倍廉价Agent评估及保证的随时停止
🧭 Agent评估 · 随时有效停止
融合方差缩减AIVAT与置信序列，实现证据充分即停的有保证评估，成本降低74倍
📌 工作参考价值（4 点）
- 在线A/B测试或Agent对战评估中，可使用控制变量法（类似AIVAT）降低方差，结合置信序列（CS）实现随时停止，显著节省推理/人力成本，同时保持统计保证。
- 避免固定样本量或窥视p值带来的风险：采用任何时间有效推断，可在证据充足时立即决策，加速实验迭代。
- 对于LLM agent在线评估，可训练一个仅依赖历史数据的价值模型，生成零均值修正项，确保修正因子独立于当前对局，正确实现方差缩减。
- 在推荐系统广告实验中，可借鉴分层结构（渐近CS快速筛选，经验伯恩斯坦CS严格认证），将早期停止流程标准化、可审计化。